package com.bigdata.spark.core.rdd.builder

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @author Gerry chan
 * @version 1.0
 * 2020/12/24
 * RDD创建方式：https://www.bilibili.com/video/BV11A411L7CK?p=34
 */
object Spark02_RDD_File1 {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf()
      .setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(sparkConf)
    //从文件中 数据作为处理的数据源
   val rdd = sc.wholeTextFiles("datas")
    //输出为元组， 第一个元素式路径，第二个元素是数据
    rdd.collect().foreach(println)
    sc.stop()
  }
}
